Modern Python part 3: CIパイプラインの実行とPyPIへのパッケージの公開

著者：Faouzi BRAZA Jun 28, 2021

はじめに

メンテナンスの行き届いた使い勝手の良いPythonパッケージをオープンソースコミュニティや社内に提案するためには、一連の重要なステップを達成することが求められます。まず、あなたのコードがユニットテストされていることを確認してください。第二に、一般的な文章やフォーマットのスタイルを尊重することです。これらのステップを自動化し、継続的な統合パイプラインに統合することで、ソースコードの修正に起因するリグレッションを回避します。最後に、将来のユーザーのために十分なドキュメントを提供します。Pythonパッケージが完成したら、Python Package Index (PyPI)で公開するのが一般的です。ここでは、Poetry、Tox、GitHub Actionsを使って、これらのステップを実行する方法を見ていきます。今回のユースケースで使用したコードは、私たちのリポジトリにあります。

この記事は、ベストプラクティスを紹介する3つのシリーズの最後の記事です。

日本語訳：Modern Python part 3: CIパイプラインの実行とPyPIへのパッケージの公開

toxによるリンターチェックとテストの自動化

まだ仮想環境を起動していない場合は、次のように起動します。

code: bash

$ poetry shell

コードの適合性をチェックするために、コードが一般的なPythonのライティングガイドラインを尊重しているかどうかを評価するいくつかのパッケージを使用しています。そして、それらの実行とユニットテストを自動化するために、toxを使用します。これらのパッケージをインストールするには、次のように実行します。

code: bash

$ poetry add black flake8 pylint tox --dev

code: bash

code: tox.ini

envlist = py38

isolated_build = true

description = Linting, checking syntax and running tests

require_locked_deps = true

install_dev_deps = true

commands =

poetry run black summarize_dataframe/summarize_df.py

poetry run flake8 summarize_dataframe/summarize_df.py

poetry run pylint summarize_dataframe/summarize_df.py

poetry run pytest -v

ここでは2つのセクションを見ることができます。

tox パイプラインを実行します。

code: bash

$ tox

All done! ✨ 🍰 ✨

1 file left unchanged.

************* Module summarize_dataframe.summarize_df

summarize_dataframe/summarize_df.py:1:0: C0114: Missing module docstring (missing-module-docstring)

summarize_dataframe/summarize_df.py:4:0: C0103: Argument name "df" doesn't conform to snake_case naming style (invalid-name)

summarize_dataframe/summarize_df.py:11:4: C0103: Argument name "df" doesn't conform to snake_case naming style (invalid-name)

summarize_dataframe/summarize_df.py:23:4: C0103: Argument name "df" doesn't conform to snake_case naming style (invalid-name)

summarize_dataframe/summarize_df.py:43:0: C0103: Argument name "df" doesn't conform to snake_case naming style (invalid-name)

------------------------------------------------------------------

Your code has been rated at 7.62/10 (previous run: 7.62/10, +0.00)

ERROR: InvocationError for command /home/fbraza/Documents/python_project/summarize_dataframe/.tox/py38/bin/poetry run pylint summarize_dataframe/summarize_df.py (exited with code 16)

________________________________________________________ summary ________________________________________________________________

ERROR: py38: commands failed

完璧です。toxの自動化パイプラインはローカルで成功しました。次のステップでは、GitHub Actions を使った CI パイプラインを実装します。

GitHub Actions による継続的インテグレーション

GitHub Actions は、ソフトウェアのワークフローを簡単に自動化できるサービスです。このサービスはイベント駆動型で、特定のイベントが発生したときに一連のコマンドが実行されます。そのようなイベントとは、ブランチにプッシュされたコミットやプルリクエストなどです。GitHub Actionsは、自分のコードに対して必要なテストを実行するのにとても便利です。

code: bash

$ mkdir -p .github/workflows

$ touch .github/workflows/ci.yml

code: .github/workflows/ci.yml

name: CI Pipeline for summarize_df

on:

- push

- pull_request

jobs:

build:

runs-on: ${{matrix.platform}}

strategy:

matrix:

steps:

- uses: actions/checkout@v1

- name: Set up Python ${{ matrix.python-version }}

uses: actions/setup-python@v2

with:

python-version: ${{ matrix.python-version }}

- name: Install dependencies

run: |

python -m pip install poetry

poetry install

- name: Test with tox

run: poetry run tox

それぞれのフィールドについて少し説明します。

code: 抜粋 tox.ini

envlist = py37,py38,py39

isolated_build = true

skip_missing_interpreters = true

code: 抜粋 pyproject.toml

python = "^3.7.1"

最後に、tox-gh-actionsというパッケージをインストールして、複数のバージョンのPythonを使用しながらGitHub上でtoxを並行して実行します。

code: bash

$ poetry add tox-gh-actions --dev

パイプラインの準備が整いました。変更を追加、コミット、プッシュすると、パイプラインが実行されます。

code: bash

$ echo "!.github/" >> .gitignore

$ git add .gitignore

$ git commit -m "build: update .gitignore to unmask .github/ folder"

$ git commit -m "build: tox pipeline + github actions CI pipeline"

GitHubリポジトリにアクセスし、Actionsタブをクリックします。

https://gyazo.com/f7547fe47c6d4306e17f5b8216ee16fc

これまでの、そして現在進行中のパイプラインをすべて見ることができます。

https://gyazo.com/fc5a3a174ad2e3d6b183a70a5c1a619b

進行中のパイプラインをクリックしてみましょう。パイプラインは、各OS、各Pythonバージョンで実行されます。数分待つと結果が表示されます。

https://gyazo.com/20ea442e52f76624bd6e98c7561f92a9

全てのパイプラインが成功しました これでPyPiにパッケージを公開する準備が整いました。

poetryでPyPiにパッケージを公開する

code: 抜粋 pyproject.toml

name = "summarize_dataframe"

version = "0.1.0"

description = "A package to provide summary data about pandas DataFrame"

license = "MIT"

readme = "README.md"

code: bash

$ cz bump

code: bash

$ cz changelog

$ cat CHANGELOG.md

- correct pylint warnings

- split the function into two: one returning df other for output

- implementation of the summary function to summarize dataframe

code: bash

$ poetry build

Building summarize_dataframe (0.1.0)

- Building sdist

- Built summarize_dataframe-0.1.0.tar.gz

- Building wheel

- Built summarize_dataframe-0.1.0-py3-none-any.whl

これにより、ビルドされたパッケージが配置された dist というフォルダが作成されます。すべてが機能しているかどうかをテストするには、pipを使用します。

code: bash

$ pip install path/to/your/package/summarize_dataframe-0.1.0-py3-none-any.whl

code: bash

$ poetry publish

Username: ***********

Password: ***********

Publishing summarize_dataframe (0.1.0) to PyPI

- Uploading summarize_dataframe-0.1.0-py3-none-any.whl 100%

- Uploading summarize_dataframe-0.1.0.tar.gz 100%

このパッケージはオンラインで公開され、コミュニティで共有されています。

https://gyazo.com/777f6960b95476c49b674b2d1c31362f

まとめ

toxは、すべてのユニットテストと検証チェックを自動化するための素晴らしいインターフェースを提供します。poetryを取り巻くエコシステムはより成熟してきており、あまり手間をかけずにtoxと連携するためのソリューションを提供しています。これら2つのソリューションを組み合わせることで、非常に効率的で一貫性のあるCIパイプラインを構築することができます。パイプラインを実行し、異なるOSやPythonのバージョンでパッケージをテストするには、上述のようにGitHub Actionsを活用します。

詩は私たちのアプローチの中心でした。poetryは、プロジェクトの初期化から公開、パッケージや依存関係の管理に至るまで、その使いやすさと有効性を示し、Pythonでプロジェクトを開発する開発者、データサイエンティスト、データエンジニアの生活を間違いなく促進します。

私たちの記事では、優れたソフトウェアエンジニアリングの実践を尊重するために、あなた自身のPythonプロジェクトを構築するために活用できる完全なセットアップを説明しています。

チートシート

tox

tox パイプラインを実行

code: bash

$ tox

poetry

パッケージをビルド

code: bash

$ poetry build

パッケージをPyPIへ公開

code: bash

$ poetry publish